ZeroGR：生成式推荐的过滤优先约束解码系统
🧭 生成式推荐 · SID 约束解码 ★ 深度解读
The University of Hong Kong · Peking University · Kuaishou Technology · Huazhong University of Science and Technology
提出过滤优先的 GPU 约束解码系统，先滤除非法 SID 再算 logits，召回与先打分几乎一致且延迟最高降 9.9×
📌 工作参考价值（4 点）
- 生成式推荐/搜索里如果采用 SID 或树约束解码，建议把 filtering 前置到 projection 之前：先查有效 next tokens，再只对有效 token 计算 logits。论文在 MovieLens-1M 上验证先过滤与先打分返回物品重叠 99.90%，召回一致，但投影计算量可下降 85%–99.95%。这基本可以无痛迁移到线上解码器，先上线 A/B 验证质量即可。
- 过滤索引按解码步切片，并按各步有效候选密度混用稀疏/稠密表示：早期 dense 对齐 token 列，后期 sparse 只存有效 SID，且用 entry position 隐式表示 successor state，省掉 successor 数组和 item id 存储。对显存敏感、目录亿级 item 的场景可显著减少 GPU 索引占用。
- 执行层用“共享候选槽位 + hybrid projection”：每个 beam 固定槽位，过滤/打分/选择直接读写同一槽位，避免动态 prefix sum；每步用 warm-up 在 full 与 selective projection 之间选最快，避免稀疏步不规则 kernel 反而拖慢。适合在 CUDA/Triton 实现 SID 解码时复用。
- 索引重建采用两遍 CPU 布局引导并行填充 + 双缓冲 pinned memory 异步 H2D 流式搬运，把重建延迟压到更新窗口内，且不与在线推理抢 GPU/带宽。电商 item 目录频繁更新时可直接借鉴。
效用感知生成式推荐：融合效用语义编码与效用引导解码
🧭 生成式推荐 · 效用感知 SID 与解码 ★ 深度解读
Kuaishou Technology · Peking University
将多目标效用写入SID末级并引导beam search，降低高价值候选被剪枝
📌 工作参考价值（3 点）
- UE-SID 思路可直接迁移到电商/广告的 Semantic ID 体系：前几级保持语义量化不变，只在末级用 LFQ 释放弱判别 semantic bits，替换为 GMV、转化率、客单价、时长等 utility bucket。新商品上线或爆款衰减时只更新 utility bits，不重训 generator/tokenizer，适配目录高频变化。
- UGD 的工程实现很适合低风险上线：复用 decoder 隐状态 + stop-gradient，只训练轻量共享 MLP 和行为专用 token head；beam search 打分用 logp + λ Σ w_m Norm(q_m)，无需额外 backbone 前向，QPS 几乎不降。多目标权重配置化，可随时切换不同业务目标。
- 对比 RL 和 post-rerank：UGD 在每一步 prefix 剪枝时估计 utility，避免 GRPO 只在完整 sequence 上优化而无法顾及中间剪枝；也比后排序更能保留已剪掉的高价值候选。做生成式召回/query 生成时可优先考虑这种 decode 端 utility 引导，而不是加重训练端 RL。
PFA：长序列生成式推荐中注意力可渐进聚焦
🧭 生成式推荐 · 稀疏注意力加速 ★ 深度解读
Alibaba International Digital Commerce Group · Zhejiang University
利用 GR 解码中注意力渐进聚焦与跨步排名一致性，PFA 通过共享重要性排名和几何预算缩减，加速长序列生成式推荐
📌 工作参考价值（4 点）
- 对长序列生成式推荐，可借鉴"早期构造共享重要性排名 + 后续几何缩减预算"，替代每步每 beam 独立 top-k，消除重复选择和 KV gather 开销，尤其适合 beam width 大、序列长的电商召回/广告候选生成。
- 工程实现上，用 beam 生成概率加权聚合注意力分布来挑选关键历史 token，比每个 beam 独立选更稳定且能共享连续 KV cache；可先 reorder KV cache，后续直接前缀截断，降低非连续内存访问。
- Step-aware KV projection：为不同解码步分配独立 KV 投影参数，成本低但能显著缓解复用 token 带来的表示退化，适合层级 SID 生成。
- 若业务采用生成式推荐，可保留 Step 0 全注意力做全局探索，不用过早压缩历史，对长序列效果稳定。
面向大规模广告的可靠可扩展价值对齐生成式推荐系统
🧭 生成式推荐 · Semantic ID · 价值对齐 ★ 深度解读
Kuaishou Technology
通过多路径SID、五维容量扩展和统一价值引导生成与判别，快手广告生成式推荐实现3.07%收入提升
📌 工作参考价值（4 点）
- Multi-Path SID：对 embedding 聚类边界模糊的物品保留 top-m 条第一层路径，避免单路径 SID 被 beam search 剪枝后完全不可达。电商/广告场景中物品语义边界普遍模糊，可低成本提升召回覆盖，且不增加解码深度。
- PCGM 词汇记忆扩展：用 prefix 条件门控记忆表代替稠密 FFN 门控，按前缀长度检索不同粒度的 SID 嵌入，垂直方向层独立，水平方向支持 1/2/3-gram。在不增加每次解码稠密计算的前提下大幅提升参数容量，适合在线延迟敏感系统。
- Diagonal Hyper-Connections：多流残差 + 对角门控，每个子层只计算一次注意力/FFN，却可以扩展多条信息通路。相比直接加宽或加深 Transformer，在相同吞吐下获得更好表示能力，可复用于推荐模型的序列编码器。
- Prefix-level value + PV-BeamSearch：将序列级奖励自底向上聚合为前缀价值，训练轻量级 per-level 价值头，推理时用 RRF 融合生成概率排名和价值排名，从 level≥2 开始干预。有效解决高价值 prefix 被过早剪枝的问题，且无需外部重排模型。
从物品分数到语义令牌：生成式推荐的测试时协作自适应解码
🧭 生成式推荐 · 测试时协作解码 ★ 深度解读
Shenzhen Technology University · McGill University · Shenzhen University
TCBSA 将判别式分数 margin 投影到语义 ID 共享边并在 beam 剪枝前门控修正，无需重训练即可提升生成式推荐新兴兴趣发现
📌 工作参考价值（4 点）
- 已有判别式模型（如 SASRec/BERT4Rec/双塔）可以在线提供全量 item score，不需要重训练生成器；把 item score 相对 top-R cutoff 做 margin，再投影到 semantic ID 的 prefix-token 边，就能在 beam search 剪枝前修正路径分数，保护被生成器低估但判别器看好的候选。
- 工程上预计算 item-to-path 查找表，测试时只算 margin 和聚合，额外成本可控；隐私和延迟敏感场景下，置信度 gate 用 max softmax probability 调节干预强度，避免低置信判别分数扭曲生成偏好。
- 聚合共享边支持推荐 top-R 之外的 item，说明不需要把生成器的输出空间限制在判别器召回集合内；这对电商中新兴兴趣/长尾商品发现尤其有用。
- 实验证明同等 beam width 下延迟增加 1.43-1.63x，但 TCBSA beam=20 比原生 TIGER beam=50 精度更高且延迟更低；在预算受限时优先用判别器信号做解码修正，而不是盲目加大 beam。
分离思考与拼写的高效生成式推荐
🧭 生成式推荐 · Semantic ID 推理优化 ★ 深度解读
将生成式推荐中 backbone 的历史建模与 SID 逐码生成解耦，由轻量 decoder 完成 beam search，实现 3-8 倍吞吐提升且精度不降
📌 工作参考价值（8 点）
- 架构选择：重 encoder + 轻 decoder 分离 serving
- 在生成式推荐（Semantic ID）线上推理中，让大 backbone 只跑一次 prefill 输出固定大小的 next-item concept（如 1KiB），beam search 全部下沉到 2 层 256 宽的轻量 decoder。concept 可作为 per-user state 预计算并缓存，在线只有轻 decoder 参与 decode，避免大模型反复处理 O(BK) 个 decode token。
- 输入侧融合 item SID tokens 降低 prefill
- 用 MLP 把每个 item 的 K 个 code embedding 融合成单个 token，历史长度从 TK 降到 T；训练时通过 block-causal mask 为每个位置提供下一 item 的 gold prefix targets，实现 dense training，一次前向即可监督所有 transitions。
- 轻 decoder 训练用教师分布做 label smoothing
- 将 full-backbone teacher 在 gold prefix 上的 next-code 分布与 one-hot 混合（α 为 KD 权重），作为 decoder 的 CE 目标。在小数据集上可带来 16-23% NDCG@10 提升，且 teacher 仅训练时使用，不增加 serving 成本。
- 复购/重复消费场景加 history pointer
- 对音乐、视频、电商复购等 repeat-heavy 领域，基于 backbone last state 对历史 item 的 attention 构造 pointer，与生成分布混合（gate 由 last state 学习）。在 Yambda 数据集上，pointer 将 Deco NDCG@10 从 0.079 提升到 0.171，几乎追平 FlatGR。
生成式推荐遗忘长尾：检索与排序中的记忆恢复
🧭 生成式推荐 · 长尾纠偏 ★ 深度解读
University of Science and Technology of China · Ant Group
提出无训练插件 CAPE，用 item-level 共现记忆同时修复生成式推荐的检索剪枝和排序偏差，显著提升长尾命中
📌 工作参考价值（4 点）
- 线上生成式推荐不要只扩 beam 或只做重排：先用 beam 的 tail recall 和 tail conversion 定位瓶颈。若 beam 尾召回不足，需要额外候选；若 recall 足够但命中差，重排更关键。论文 Proposition 2.1 可作为上线前检查。
- 用原始 item-item 共现矩阵构建轻量长尾候选通道，比训练 LightGCN 更适合精确记忆。用户级 support 进候选、事件级 mean 做排序，min-max 归一化后与生成 likelihood 融合，只需一个超参 λ。电商可直接统计用户历史商品与候选商品在多少用户中共同出现，补足 beam 外的长尾。
- top-1 anchoring 是无痛上线关键：保持 backbone 首项不变，只重排第 2-K 位；若更看重整体 GMV，可去掉 tail mask 把共现证据用于全部候选。
- 工程成本低：CSR 稀疏矩阵存共现，每请求只增加约 100 token teacher forcing，延迟增 11-16%，可批处理；而扩 beam 50% 延迟翻倍还不一定提升尾命中。
超越束搜索：生成式推荐的构造性修复与候选补全
🧭 生成式推荐 · Semantic ID 修复与候选补全 ★ 深度解读
Beijing Institute of Technology · China Meteorological Administration · Tsinghua University · Singapore Management University
用可行性区间刻画identifier分配修复，结合最小叶子替换与候选补全提升生成式推荐新item召回
📌 工作参考价值（4 点）
- 目录扩容时不要只依赖 beam rerank：用保留前缀上界 U_i=已评估前缀 logprob + item correction 和 item-level 协同预测器对 beam 外物品做候选补全，预算控制在 20/80 个额外评估即可显著提升 Recall/NDCG。
- 旧 Semantic ID 不一定要推翻重训：先按 Theorem 1 的区间条件判断 assignment repair 可行性，再用 integral min-cost flow 求最小叶子替换，保留旧 ID 的同时让新 item 进入 Top-K，降低重训与历史兼容性风险。
- 合并生成概率与协同分数为单一排序得分，并对新 item 做校准（λ、γ、b 控制 scale/shift），避免冷启动新 item 被生成分数压制；校准参数在验证集上选。
- 停止条件 t_K > max U_i 可给出全局 Top-K 证书；线上可做成本自适应：预算内满足才输出证书，否则返回已评估最高分。
双角色标识符的生成式通用多模态检索
🧭 生成式多模态检索 · 双角色 Semantic ID ★ 深度解读
Independent Researcher, Japan · Institute of Library, Information and Media Science, University of Tsukuba, Japan · College of Knowledge and Library Sciences, University of Tsukuba, Japan
DrIG 将同一残差量化 ID 同时作为顺序解码序列和无序集合先验，缓解前缀剪枝错误，并以 dense 重排补偿量化损失
📌 工作参考价值（4 点）
- 双角色 Semantic ID 可直接用于生成式召回：将商品 ID 设计为分层量化 token，第一层编码类目/模态，其余层编码语义；推理时 beam search 不仅用 decoder 序列分数，还加入由 ID 无序集合计算的全局相关性分数，缓解 beam search 前缀剪枝误杀。
- 生成召回 + dense 精排是现实的混合架构：先用轻量生成式模型通过 Trie 约束 beam search 召回 top-k，再用 query/item embedding 余弦相似度重排，避免全库 ANN 打分，额外成本仅为 O(kd)，适合大规模电商商品库。
- Query augmentation 与判别排序目标可迁移：用 query-target embedding 的 Beta 插值生成增强 query 稳定生成器训练；用 teacher 相似度计算 adaptive margin 的 pairwise ranking loss，使 decoder 序列分数更贴近排序目标，适合用于生成式商品召回的训练。
- LMM 作为多模态 item embedding 编码器：用 “summarize in one word” 提示提取 <emb> 前 hidden state 作为通用多模态表示，再做多任务对比微调，可复用到图文商品/内容理解与跨模态召回。
SmartGR：面向生成式推荐的层次与束搜索感知知识蒸馏
🧭 生成式推荐 · 层次与束搜索感知蒸馏 ★ 深度解读
Zhejiang University · Ant Group
提出层次感知SID蒸馏与束感知排序蒸馏，解决生成式推荐中蒸馏难度不均衡和束搜索前缀误剪枝问题。
📌 工作参考价值（4 点）
- 层次感知蒸馏权重：不要在所有SID层级上均匀施加蒸馏损失；引入可学习的单调递增权重（如tanh），根据教师在不同深度的增益自动调整蒸馏强度，解决层次间难度不均衡问题。
- 束感知排序损失：仅对齐每步条件分布无法防止前缀误剪枝；使用教师缓存的 beam 结果构造正负 beam 对，让学生直接模仿教师的累积前缀评分偏好，在训练中显式优化束搜索排序。
- 离线缓存 + 最长前缀选择：离线缓存教师 top-k token 分布与 beam 序列，蒸馏时选择与目标 SID 最长公共前缀的 beam 作为监督，避免不相关信号引入噪声；同时保留硬监督损失，维持基础生成能力。
- 即插即用的蒸馏方案：不修改学生模型结构，只增加 SID Loss 和 BEAM Loss 两个损失项，即可将 1.7B 模型性能提升 8.6%，推理速度比 8B 教师模型快 2.39 倍，适合在广告/电商等实时推理要求高的场景直接落地。
奖励引导解码：面向生成式推荐的可控价值对齐
🧭 生成式推荐 · 奖励引导解码 ★ 深度解读
Institute of Information Engineering, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Kuaishou Technology · Peking University
提出RGD框架，将业务价值注入解码过程，解决生成推荐中似然与价值不匹配问题，无需重训模型
📌 工作参考价值（4 点）
- 解码时注入业务价值，无需重训生成器：RGD 将奖励模型作为测试时控制器，通过闭式解 log P + R/β 替换原始 beam search 的排序方式。业务目标切换或权重调整只需更换奖励头或调整温度系数 β，生成器保持不变，显著降低维护成本。
- 轻量级奖励模型设计可复用：奖励头以 Bottleneck MLP 共享生成器解码器的隐藏状态，梯度隔离训练，仅增加少量参数和推理开销。这种插件式设计可直接纳入现有生成推荐服务。
- 混合推理策略平衡效果与延迟：在首层 SID 使用 pre-merge 扩大搜索空间，后续层改用 post-merge 减少计算量，在工业场景中实现与全量 pre-merge 相近的效果，延迟增加可控，适合在线部署。
- 缓解 beam search 的早期剪枝问题：通过奖励引导，原本因低生成概率被剪枝的高价值候选项有机会存活，扩大有效搜索范围。在快手直播推荐中，CTR 引导的 RGD 在线带来 +0.392% 页面点击率、+0.689% 观看时长。
直觉引导的潜在推理用于大语言模型推荐
🧭 生成式推荐 · 潜在推理直觉引导 ★ 深度解读
Beihang University · University of Science and Technology of China · The Chinese University of Hong Kong · National University of Singapore · Meta AI
提出 IntuRec，通过 top-K 候选集构建推荐直觉，注入推理起始点，大幅提升 LLM 潜在推荐推理的准确性和效率
📌 工作参考价值（4 点）
- 可用 top-K 候选集约束 LLM 潜在推理的起始点：先在 ISE 阶段用标准的 next-token loss 训练 LLM 生成候选，再用 beam search 产出离线候选集，作为“直觉”源——这套流程可直接嵌入现有的生成式推荐管线，提升推理起始点的语义匹配度。
- TACB（目标感知候选平衡）可复用：训练时按验证集正样本覆盖率动态调整候选集中目标物品的保留概率，能有效防止捷径学习，维持训练-评测分布一致，适合迁移到所有需要从候选池中学习偏好表征的场景。
- IDAE 双注意力编码器设计值得借鉴：对每个候选物品独立做 self-attention 提取物品级表示，再用 cross-attention 以初始状态作为 query 融合历史信息，生成直觉嵌入——这种结构可应用于精排或召回链路，用轻量 attention 融合候选与用户历史，生成高质量起始向量。
- BPR 直觉对齐损失提供了一种偏好信号注入方式：强制直觉嵌入比负例更靠近目标物品嵌入，可在不增加标签成本的情况下为隐空间推理提供监督，尤其适合在缺乏显式反馈时，对齐候选与用户真实偏好。
STORM：奖励引导束搜索的逐步 token 优化查询扩展
🧭 查询改写与词汇扩展 · 奖励引导束搜索 ★ 深度解读
MILA – Quebec AI Institute & ILLS · Université Paris-Saclay & CentraleSupélec & CNRS · Air Liquide · Sorbonne Université & ISIR & CNRS · Sapienza, University of Rome
将检索奖励转化为 token 级信号，通过奖励引导束搜索训练 LLM 生成高效关键词，在不改变索引下大幅提升 BM25
📌 工作参考价值（4 点）
- 奖励信号粒度下放：将检索质量指标（如 nDCG）转化为 token 级反馈，在生成过程中实时剪枝，解决序列级奖励延迟与稀疏问题。这一思路可直接用于电商搜索/推荐中的 query 改写、标题优化、对话式 Agent 的关键词生成，用业务指标（CTR、转化率）替换 nDCG 即可训练。
- 低成本高效重写：STORM 训练的 LLM 输出短关键词串，推理延迟接近 BM25，适合在线实时场景。电商搜索可部署为轻量级改写模块，不增加检索延迟，却显著提升召回与相关性。
- 自监督训练摆脱人工标注：无需人工改写对，只需相关性判断或近似信号（如点击日志、伪标签）。可借鉴其利用交叉编码器伪标签蒸馏到生成式改写器的方法，在标注稀缺的电商场景快速冷启动。
- 多语言零样本迁移：仅用英文 MS-MARCO 训练，即可迁移到多语言 BM25 索引，效果超越专用多语言稠密检索器。对跨国电商平台，可简化多语 query 改写部署，无需额外训练。
通过前缀保留优化弥合多模态生成检索的索引-解码鸿沟
🧭 多模态生成式检索 · 前缀保留优化 ★ 深度解读
Shandong University · CISPA Helmholtz Center for Information Security · University of Amsterdam · Leiden University
提出前缀保留优化框架，从排序蒸馏、词汇调度和几何融合三方面提升残差码本在束搜索中的前缀存活率
📌 工作参考价值（4 点）
- 前缀排序蒸馏：在RQ标识符学习时，引入listwise蒸馏损失，使量化后前缀概率分布与冻结编码器的原始分布对齐，减少索引-解码排名分歧。该方法可直接用于生成式推荐中的Semantic ID训练，提升束搜索解码时的目标保留。
- 词汇表调度：将残差量化各级codebook大小设计为递增（浅层小、深层大），降低束搜索早期大量非目标前缀的竞争，增大教师边际，提高目标前缀浅层存活率。在电商推荐粗粒度类目上可借鉴，减少不必要的早期剪枝。
- 几何分数融合：解码时，用查询与候选codeword的几何相似性（残差距离减少量）增强解码得分，无需重新训练即可改善解码器与量化分布的对齐。适用于线上实时推理，可直接集成到现有生成式检索/推荐系统中。
- 理论生存界限：将前缀存活分解为排名散度、教师边际和解码器不匹配三个可控量，提供了一种诊断工具，可迁移到其他RQ-based生成式系统，识别并优化瓶颈。
通过协作逐步多教师解码蒸馏长链推理
🧭 长链推理蒸馏 · 多教师协作解码 ★ 深度解读
KAIST · UNIST
提出CoRD框架，通过逐步多教师协作解码和预测困惑度指导，高效生成高质量长链推理数据，显著提升学生模型性能。
📌 工作参考价值（4 点）
- 逐步多教师协作生成数据：让多个异构模型按步骤共同构建推理链，用预测性指标动态选择最优步骤，避免后验选择完整响应的浪费，可用于生成高质量的训练数据，如商品推荐解释或Agent决策推理。
- 预测困惑度作为步骤质量信号：利用元模型计算当前前缀下正确答案的概率来评估中间步骤，无需额外训练奖励模型，轻量且有效，适用于长序列生成中的中间步骤评估。
- 束搜索保持多样性：用多个并行轨迹保留有潜力的推理分支，防止过早贪婪选择，允许自我纠正和策略转换，在多智体交互中可保留多个方案，提升最终结果质量。
- 步骤分割一致性：通过提示工程（如“### Step”）强制不同模型输出结构统一的步骤，便于跨模型比较和组合，可迁移到生成式推荐中需要多模型协作生成推荐理由的场景。